CoinRAG: Contextualized Information Nugget KV Cache Reuse for Long-Context RAG
CoinRAG：面向长上下文RAG的细粒度信息块KV缓存复用
🧭 KV缓存复用 · 细粒度信息块 · 低延迟RAG ★ 深度解读
University of California, Santa Barbara · Hanbat National University
通过离线提取细粒度信息块并复用其上下文KV缓存，在低延迟预算下显著提升多跳问答准确率
📌 工作参考价值（4 点）
- 细粒度信息块离线提取与缓存复用：在电商/内容推荐中，可对商品描述或文档预先提取关键事实块并缓存KV，在线仅加载所需片段，大幅降低预填充延迟，适配严格的SLA。
- 两阶段检索缩小候选范围：先粗粒块召回，再在块内针对查询做细粒度块排序，可迁移到多路召回或Rerank场景，减少噪声同时提升效率。
- 位置对齐实现非连续缓存拼接：利用RoPE旋转偏移对齐来自不同块的缓存片段，保持紧凑的连续位置编码，减少内存占用并加速解码，适用于动态组合多种证据的生成式推荐或广告文案生成。
- 块感知微调（nugget‑aware fine‑tuning）：在训练中直接注入拼接的非连续缓存结构，能大幅缩小训练‑推理偏差，类似方法可用于在业务中微调模型以接受结构化的检索增强输入，如structured prompt+商品属性片段。